Mô hình markov là gì? Các bài nghiên cứu khoa học liên quan

Giới thiệu

Mô hình Markov (Markov model) là công cụ toán học để mô tả và phân tích các quá trình ngẫu nhiên, trong đó xác suất chuyển từ trạng thái hiện tại sang trạng thái kế tiếp chỉ phụ thuộc vào trạng thái hiện tại, không phụ thuộc vào chuỗi các trạng thái trước đó. Tính chất “không có bộ nhớ” (memoryless) này giúp đơn giản hóa việc mô hình hóa các hệ thống phức tạp như mạng lưới truyền thông, chuỗi cung ứng, và hiện tượng trong sinh học hoặc tài chính.

Khả năng xây dựng dưới dạng chuỗi Markov rời rạc (discrete-time) hoặc liên tục (continuous-time) cho phép linh hoạt ứng dụng cho nhiều kịch bản: từ dự báo khí tượng, phân tích hành vi người dùng trên website, đến định giá quyền chọn tài chính. Mô hình Markov cung cấp khung để tính toán xác suất theo thời gian, từ ngắn hạn đến dài hạn, dựa trên ma trận chuyển tiếp hoặc ma trận tốc độ.

Đặc điểm chính của mô hình Markov là ma trận chuyển tiếp trạng thái và phân phối khởi đầu (initial distribution). Khi đã xác định được hai thành phần này, mọi bài toán về dự đoán phân phối trạng thái tại bước thứ k hoặc tính phân phối trạm dừng (steady-state) đều có thể giải quyết bằng các phép biến đổi ma trận cơ bản. Tính toán hiệu quả và khả năng mở rộng cao khiến Markov trở thành nền tảng cho nhiều mô hình chuyên sâu hơn như chuỗi ẩn Markov (Hidden Markov Model).

Định nghĩa và tính chất Markov

Cho chuỗi các biến ngẫu nhiên rời rạc thời gian {X_n, n = 0,1,2,…} có tập trạng thái hữu hạn hoặc đếm được S = {s₁, s₂, …}, mô hình Markov thỏa mãn tính chất:

• $\Pr(X_{n+1}=j \mid X_n=i, X_{n-1}=i_{n-1},\dots,X_0=i_0) = \Pr(X_{n+1}=j \mid X_n=i)$ cho mọi i, j ∈ S và mọi dãy i₀,…,i_n−1.

Tính chất này được gọi là “Markov property” (đặc tính Markov) hay “memoryless property”. Trong mô hình rời rạc, phân phối trạng thái ban đầu được biểu diễn dưới dạng vector hàng $\pi^{(0)}$, với $\pi^{(0)}_i = \Pr(X_0 = s_i)$. Phân phối này cùng ma trận chuyển tiếp P định nghĩa hoàn toàn quá trình Markov.

Có thể mở rộng khái niệm sang không gian liên tục thời gian, ở đó ta dùng quá trình Markov liên tục với ma trận tốc độ Q và phương trình Kolmogorov. Tuy nhiên, nguyên lý cơ bản vẫn là xác suất chuyển đổi tại mỗi bước chỉ phụ thuộc vào trạng thái hiện thời.

Ma trận chuyển tiếp và tính toán xác suất

Ma trận chuyển tiếp P là ma trận kích thước |S|×|S| với phần tử p_ij = P(X_n+1 = s_j | X_n = s_i). Mỗi hàng của P là một phân phối xác suất, nghĩa là:

• $p_{ij} \ge 0, \quad \sum_{j} p_{ij} = 1\quad \forall i.$

Phân phối trạng thái tại bước k được tính bởi:

• $\pi^{(k)} = \pi^{(0)} \, P^k.$

Ví dụ giả định chuỗi có ba trạng thái {A, B, C} với P như sau:

From \ To	A	B	C
A	0.6	0.3	0.1
B	0.2	0.5	0.3
C	0.1	0.4	0.5

Nếu $\pi^{(0)} = [1,0,0]$ (bắt đầu ở A), thì phân phối tại bước 1 là $\pi^{(1)} = [1,0,0] P = [0.6,0.3,0.1]$. Phép lũy thừa ma trận cho phép tính nhanh phân phối cho bất kỳ số bước k.

Phân loại trạng thái và tính liên thông

Mỗi trạng thái s_i trong chuỗi Markov có thể được phân loại dựa trên khả năng tái hồi và liên thông giữa các trạng thái:

• Trạng thái hấp thụ (absorbing): p_ii = 1 và p_ij = 0 ∀ j ≠ i, khi vào sẽ không thoát.
• Trạng thái tái sinh (recurrent): có xác suất 1 để quay về sau một thời điểm nào đó.
• Trạng thái thoát (transient): có xác suất nhỏ hơn 1 để quay lại sau khi rời đi.

Lớp liên thông (communicating class) là tập trạng thái giữa đó có thể di chuyển lẫn nhau, tức nếu i và j cùng trong một lớp thì i → j và j → i. Chuỗi phân tách thành các lớp liên thông, giúp phân tích thành phần con độc lập.

Bảng tổng hợp đặc tính trạng thái:

Loại trạng thái	Đặc điểm	Ứng dụng ví dụ
Hấp thụ	Không thoát; pii=1	Mô hình hấp thụ́y tuyệt đối
Tái sinh	Xác suất quay lại =1	Mô hình dịch bệnh có tuần hoàn
Thoát	Xác suất quay lại <1	Mô hình ô tô hết nhiên liệu

Chuỗi Markov không chu kỳ (aperiodic) và liên thông (irreducible) đảm bảo tồn tại phân phối trạm dừng duy nhất, là nghiệm của phương trình $\pi^* = \pi^* P$.

Phân phối trạm dừng và cân bằng

Phân phối trạm dừng (steady–state distribution) π* là vector phân phối thỏa mãn phương trình π* = π* P, với điều kiện ∑_i π*_i = 1. Phân phối này mô tả xác suất chuỗi Markov ở trạng thái i khi quá trình đã tiến triển đủ lâu để đạt cân bằng, không phụ thuộc phân phối ban đầu.

Điều kiện tồn tại và duy nhất của π* đòi hỏi chuỗi Markov phải không chu kỳ (aperiodic) và liên thông (irreducible). Khi đó, lim_{k→∞} π^{(0)} P^k = π* với mọi π^{(0)}. Phân phối trạm dừng là công cụ quan trọng để dự đoán tần suất xuất hiện trạng thái trong dài hạn.

Bảng ví dụ với chuỗi ba trạng thái {A,B,C}, giả sử P có trạm dừng π* = [0.5, 0.3, 0.2]. Phân phối này cho biết sau thời gian dài, chuỗi có 50% thời gian ở A, 30% ở B và 20% ở C.

Trạng thái	π* (ví dụ)
A	0.50
B	0.30
C	0.20

Mô hình liên tục thời gian

Quá trình Markov liên tục thời gian (Continuous–Time Markov Chain, CTMC) mô tả sự kiện chuyển trạng thái xảy ra bất kỳ lúc nào. Thay vì ma trận chuyển tiếp P, CTMC sử dụng ma trận tốc độ Q, với q_{ij} ≥ 0 (i≠j) và q_{ii} = −∑_{j≠i} q_{ij}.

Phương trình Kolmogorov tiến hóa (forward equation) biểu diễn thay đổi ma trận xác suất P(t) theo thời gian:

$\frac{dP(t)}{dt} = P(t)\,Q$

Hệ phương trình này giải bằng ma trận mũ: P(t) = exp(Q t). CTMC ứng dụng trong mô hình hóa mạng truyền tin, sinh học phân tử (phản ứng hóa học ngẫu nhiên) và bảo hiểm (giá trị tổn thất theo thời gian).

Ước lượng và suy diễn tham số

Phương pháp cực đại (Maximum Likelihood Estimation – MLE) áp dụng cho chuỗi Markov rời rạc bằng cách đếm số lần chuyển i→j để ước tính p_{ij} = N_{ij}/∑_k N_{ik}, với N_{ij} là số lần quan sát chuyển từ i sang j.

Đối với chuỗi ẩn Markov (Hidden Markov Model – HMM), giải thuật Baum–Welch (EM algorithm) ước lượng đồng thời ma trận chuyển tiếp và phân phối phát xạ từ dữ liệu quan sát. Kết quả tối ưu hóa log-likelihood qua các bước lặp giữa Expectation và Maximization.

• MLE cho chuỗi rời rạc: đơn giản, nhanh chóng khi dữ liệu đầy đủ.
• Baum–Welch cho HMM: phức tạp, yêu cầu khởi tạo hợp lý và có thể dừng ở nghiệm địa phương.

Ứng dụng thực tiễn

Xử lý tín hiệu và nhận dạng giọng nói sử dụng HMM để mô hình hóa chuỗi âm vị trong lời nói, cho phép tách tiếng ồn và nhận dạng chính xác chuỗi phát âm (Coursera HMM).

Trong tài chính, Markov Chains được áp dụng để dự báo giá cổ phiếu dưới mô hình rời rạc, mô hình xếp hạng tín dụng và định giá quyền chọn với giả thiết biến động theo chuỗi Markov liên tục (Springer Finance).

Sinh học phân tử sử dụng CTMC để mô hình hóa sự thay thế nucleotide trong trình tự DNA, phân tích tiến hóa và xây dựng cây phát sinh loài. Mô hình Jukes–Cantor và Kimura là ví dụ điển hình của CTMC trong di truyền học.

Ưu điểm và hạn chế

Ưu điểm: mô hình Markov đơn giản, dễ tính toán, có lý thuyết cơ sở vững chắc; khả năng mở rộng sang HMM và CTMC cho nhiều ứng dụng phức tạp. Tính “memoryless” giúp giảm độ phức tạp khi mô tả các quá trình ngẫu nhiên.

Hạn chế: giả thiết Markov không phù hợp với các quá trình có phụ thuộc dài hạn; số lượng trạng thái lớn gây ra ma trận chuyển tiếp khổng lồ, khó ước lượng và tính toán. HMM dễ rơi vào nghiệm địa phương khi dùng EM, yêu cầu khởi tạo và điều chỉnh tham số cẩn thận.

Tiêu chí	Ưu điểm	Hạn chế
Đơn giản hóa	Memoryless, dễ mô tả	Bỏ qua phụ thuộc dài hạn
Tính toán	P^k & exp(Qt)	Ma trận lớn khó xử lý
Mở rộng	HMM, CTMC	EM dễ kẹt nghiệm địa phương

Tài liệu tham khảo

1. Grinstead, C. M., & Snell, J. L. (1997). Introduction to Probability. American Mathematical Society. Truy cập tại: https://math.dartmouth.edu/~prob/prob/prob.pdf.
2. Norris, J. R. (1997). Markov Chains. Cambridge University Press.
3. Rabiner, L. R. (1989). “A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition.” Proceedings of the IEEE, 77(2), 257–286.
4. MIT OpenCourseWare. “18.445 Introduction to Stochastic Processes.” Truy cập tại: https://ocw.mit.edu/courses/18-445-introduction-to-stochastic-processes-spring-2014/.
5. Stewart, W. J. (2009). Probability, Markov Chains, Queues, and Simulation. Princeton University Press.
6. Coursera. “Hidden Markov Models.” Truy cập tại: https://www.coursera.org/lecture/ml-foundations/hidden-markov-models-BNdu0.